A Decade in a Day: Synthesizing Agent-Native Interfaces from Human-Oriented Software Evolution
一日合成十年:从人本软件演化构建 Agent 原生接口
🧭 LLM Agent 接口设计与评估
Independent Researcher · LIGHTSPEED
提出 DeskIF-Bench 基准并依据可发现性、粒度、可观察性合成原子接口,提升 LLM Agent 桌面任务成功率并降低约73% token 消耗
📌 工作参考价值(4 点)
- 业务中构建 Agent 操作内部系统(如广告投放、推荐配置后台)时,不要直接让 Agent 调用低层 SDK 或点击 GUI,而是抽象出“原子操作”(如设置预算、创建计划、查询报表)并组合成“目标级命令”(如“暂停超预算广告”),可显著提高成功率并降低 token 消耗(论文中约降低 73%)。
- 设计给 Agent 使用的工具/API 时,重点优化三个属性:可发现性(discoverability)——让 Agent 能快速找到可用操作;粒度(granularity)——操作粒度与任务目标匹配,避免过细或过粗;可观察性(observability)——返回结构化、明确的状态反馈,便于 Agent 决策。这些属性可通过轨迹分析识别。
- 评估 Agent 在不同版本或不同工具接口下的表现时,可借鉴“固定任务、Agent、验证器,只改变接口”的对照方法,定量归因接口设计的影响,指导内部工具迭代。
- 若在电商搜索推荐中引入 Agent 调用推荐引擎或搜索服务,可提供高层命令式接口(如“重排序候选集”),而非暴露底层模型推理细节,提高 Agent 决策效率。